統計推斷問道：「根據這些數據，最有可能的底層參數是什麼？」本頁將這個問題與 凸優化結合起來。我們將機率性的可能性概念轉化為結構化的規劃問題，並證明在對數凹性條件下，尋找最佳估計等價於求解一個凸優化問題。
可能性框架
「 可能性函數 」是概率分佈 $p_x(y)$ 被視為參數 $x$ 的函數，對於固定的觀測樣本 $y$。為了估算 $x$，我們採用 最大可能性（ML）估計：選擇使觀測數據最可能出現的值。
$$\hat{x}_{ml} = \text{argmax}_x p_x(y) = \text{argmax}_x l(x)$$
為了計算效率，我們使用 對數可能性函數，$l(x) = \log p_x(y)$。由於對數函數是單調遞增的，它會保留最大值的位置，同時將獨立觀測結果的乘積轉換為易於管理的和式。
MLE 最優化程式（7.1）
我們將估計形式化為一個數學規劃：
$$\begin{array}{ll} \text{最大化} & l(x) = \log p_x(y) \\ \text{受限於} & x \in C \end{array}$$ （7.1）
此程式是一個 凸優化問題 若：
- 對數可能性函數 $l$ 是 凹的 對於每個 $y$ 值。
- 可行集 $C$（先驗資訊）由線性等式與凸不等式約束所描述。
整合約束與先驗資訊
ML 評估要求將 $p_x(y)$ 重新定義為零，當 $x \notin C$ 時，以明確施加物理或先驗約束。在優化空間中，這表示對違反這些約束的參數 $x$，對數可能性函數被賦予 $-\infty$ 值，有效地為優化器創造了一個無法穿越的障礙。
🎯 核心原則
從「最大可能性」轉向「凸規劃」的關鍵在於對數密度的凹性。若雜訊或分佈具有對數凹性，統計估計便成為一個全局可解的優化任務。